Slot Filling详细讲解 |
您所在的位置：网站首页 › goose down filling是什么意思 › Slot Filling详细讲解 |
Slot Filling详细讲解
|
1. 从一个栗子开始 - Slot Filling
比如在一个订票系统上，我们的输入 “Arrive Taipei on November 2nd” 这样一个序列， 我们设置几个槽位（Slot），希望算法能够将关键词'Taipei'放入目的地（Destination）槽位， 将November和2nd放入到达时间（Time of Arrival）槽位，将Arrive和on放入其他（Other） 槽位，实现对输入序列的一个归类，以便后续提取相应信息。 用前馈神经网络（Feedforward Neural Network）来解决这个问题的话，我们首先要对输入序列向量化， 将每一个输入的单词用向量表示，可以使用 One-of-N Encoding 或者是 Word hashing 等编码方法，输出预测槽位的概率分布。
但是这样做的话，有个问题就出现了。如果现在又有一个输入是 “Leave Taipei on November 2nd”，这里Taipei是作为一个出发地（Place of Departure），所以我们应当是把Taipei放入Departure槽位而不是Destination 槽位，可是对于前馈网络来说， 对于同一个输入，输出的概率分布应该也是一样的，不可能出现既是Destination的概率最高又是Departure的概率最高。 所以我们就希望能够让神经网络拥有“记忆”的能力，能够根据之前的信息（在这个例子中是Arrive或Leave） 从而得到不同的输出。将两段序列中的Taipei分别归入Destionation槽位和Departure槽位。 2. RNN基本概念 在RNN中，隐层神经元的输出值都被保存到记忆单元中，下一次再计算输出时，隐层神经元会将记忆单元中的值认为是输入的一部分来考虑 RNN中考虑了输入序列顺序，序列顺序的改变会影响输出的结果。 常见变体 Elman Network 将隐层的输出（即记忆单元中的值）作为下一次的输入ht=σh(Whxt+Uhht−1+bh)ht=σh(Whxt+Uhht−1+bh) yt=σh(Wyht+by)yt=σh(Wyht+by) Jordan Network 将上一时间点的输出值作为输入ht=σh(Whxt+Uhyt−1+bh)ht=σh(Whxt+Uhyt−1+bh) yt=σh(Wyht+by)yt=σh(Wyht+by) Bidirectional RNN 3. Long Short-term Memory （LSTM）
Traditional LSTM ftitotctht=σg(Wfxt+Ufht−1+bf)=σg(Wixt+Uiht−1+bi)=σg(Woxt+Uoht−1+bo)=ft∘ct−1+it∘σc(Wcxt+Ucht−1+bc)=ot∘σh(ct)(1)(2)(3)(4)(5)(1)ft=σg(Wfxt+Ufht−1+bf)(2)it=σg(Wixt+Uiht−1+bi)(3)ot=σg(Woxt+Uoht−1+bo)(4)ct=ft∘ct−1+it∘σc(Wcxt+Ucht−1+bc)(5)ht=ot∘σh(ct)
Peephole LSTM， 在大部分的情况下，用ct−1ct−1取代ht−1ht−1 ftitotctht=σg(Wfxt+Ufct−1+bf)=σg(Wixt+Uict−1+bi)=σg(Woxt+Uoct−1+bo)=ft∘ct−1+it∘σc(Wcxt+bc)=ot∘σh(ct)(6)(7)(8)(9)(10)(6)ft=σg(Wfxt+Ufct−1+bf)(7)it=σg(Wixt+Uict−1+bi)(8)ot=σg(Woxt+Uoct−1+bo)(9)ct=ft∘ct−1+it∘σc(Wcxt+bc)(10)ht=ot∘σh(ct) xtxt表示输入向量，htht表示输出向量，ctct表示记忆单元的状态向量，∘∘代表Hadamard product（A.k.a. Schur product）WW表示输入权重，UU表示循环权重，bb表示偏置δgδg代表sigmoid function，δcδc代表hyperbolic tangent， δhδh表示 hyperbolic tangent（peephole LSTM论文中建议选用δh(x)=xδh(x)=x）ftft，itit和otot表示门控向量值 ftft表示遗忘门向量，表征记忆旧信息的能力itit表示输入门向量，表征获取新信息的能力otot表示输出门向量，表征输出信息的能力补充知识点 Short-term，表示保留对前一时间点输出的短期记忆，相比于最原始的RNN结构中的记忆单元（每次有新的输入时记忆体的状态就会被更新，因此是短期的记忆），而LSTM的记忆体则拥有相对较长的记忆时间（由Forget Gate决定），所以是Long Short-termLSTM一般采用多层结构组合，Multiple-layer LSTMKeras中实现了LSTM，GRU（[Cho,Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation,EMNLP'14] 只有两个Gate，容易训练），SimpleRNN层，可以方便的调用。 4. RNN如何学习？ 损失函数的定义： 每一个时间点的RNN的输出和标签值的交叉熵（cross-entropy）之和训练过程： 使用被称作Backpropagation through time（BPTT）的梯度下降法训练其实是比较困难的，因为Total Loss可能会出现剧烈的抖动  根据论文[Razvan Pascanu,On the difficulty of training Recurrent Neural Networks,ICML'13]上对RNN的分析，损失函数的表面要么非常平坦，要么非常陡峭（The error surface is either very flat or very steep），当你的参数值在较为平坦的区域做更新时，因此该区域梯度值比较小，此时的学习率一般会变得的较大，如果突然到达了陡峭的区域，梯度值陡增，再与此时较大的学习率相乘，参数就有很大幅度更新（实线表示的轨迹），因此学习过程非常不稳定。Razvan Pascanu使用了叫做“Clipping”的训练技巧：为梯度设置阈值，超过该阈值的梯度值都会被cut，这样参数更新的幅度就不会过大（虚线表示的轨迹），因此容易收敛。为什么在RNN中会有这种问题？
是因为激活函数选用了sigmoid而不是ReLU么？然而并不是。事实上，在RNN中使用ReLU反而效果会不如Sigmoid，不过也是看你的参数初始化值的选取，所以也不一定，比如后面提到的Quoc V.Le的那篇文章，使用特别初始化技巧硬训ReLU的RNN得到了可比拟LSTM的效果。因此激活函数并不是这里的关键点。那究竟是什么原因呢？我们来分析梯度更新公式中的w−η∂L∂ww−η∂L∂w来探寻一番。但是这样一个偏微分的关系我们应该如何来分析呢？这里我们用一个技巧：给w值一个微小的变化，观察对应的Loss的变化情况。假设当前模型是1000个只含有一个线性隐层的RNN级联结构。并假设我们当前的输入是100000……（只有第一个值是1，剩下全是0），因此最后的输出值是w999w999。现在假设我们ww的值是1，那么RNN在最后时间点的输出是1，给ww一个微小的变化+0.01，此时的输出变成了大约20000！这段区域呈现出一个陡峭的趋势。如果给ww一个微小的变化-0.01变为0.99，测试的输出基本变成0，哪怕是ww变到0.01时，输出依旧是0，这段区域呈现出一个平坦的趋势。因此我们可以看出由于RNN采用时间序列的结构，权重值在不同时间点被反复使用，这种累积性的变化可能对结果造成极大的影响，也可能会很长一段时间保持平稳。常用的技巧
使用LSTM单元。LSTM单元可以处理梯度消失问题，但无法处理梯度爆炸问题。为什么呢？这是因为RNN和LSTM对待记忆单元的做法是不同的，RNN中每一个时间点的记忆单元中的内容（状态）都会更新，而LSTM则是将记忆单元中的值与输入值相加（按某种权值）再更新状态，记忆单元中的值会始终对输出产生影响（除非Forget Gate完全的关闭），因此不用担心梯度值会弥散，相反的，这倒极易引起梯度爆炸。采用一些更新颖的结构或训练方法，比如：
Clockwise RNN [Jan Koutnik,A Clockwork RNN,JMLR'14]Structurally Constrained Recurrent Network（SCRN）[Tomas Mikolov,Learning Longer Memory in Recurrent Neural Networks,ICLR'15]Vanilla RNN Initialized with Identity matrix + ReLU activation function [Quoc V.Le,A Simple Way to Initialize Recurrent Networks of Rectified Linear Units,arXiv'15]该位仁兄用了特别的初始化技巧，硬训RNN，效果可比拟甚至超越LSTM
5. RNN的更多应用场景
Sentiment Analysis 情感分析Key Term Extraction 关键字提取Speech Recognition 语音辨识
Connectionist Temporal Classification（CTC）:语音辨识中的一个关键技术，通过增加一个额外的Symbol代表NULL来解决叠字问题（参考论文[Graves, Alex, and Navdeep Jaitly. "Towards end-to-end speech recognition with recurrent neural networks." Proceedings of the 31st International Conference on Machine Learning (ICML-14). 2014.]）。Sequence to sequence learning（输入和输出都是不同长度的序列）
Machine Translation 机器翻译Syntactic parsing 句法分析Seq-to-seq Auto-encoder
将文档转换为向量表示（BoW模型会忽略掉语序，在某些情况下相反意思的语句会产生相同的词袋模型，而RNN的方法考虑语序，因此更为鲁棒）将语音转换为向量表示Attention-based Model 注意力模型
Neural Turing Machine 神经图灵机Reading Comprehension
[End-To-End Memory Networks. S. Sukhbaatar, A. Szlam, J. Weston, R. Fergus. NIPS, 2015.]基于Keras实现的一个example问答系统
6. 其他的学习资料
The Unreasonable Effectiveness of Recurrent Neural Networks
http://karpathy.github.io/2015/05/21/rnn-effectiveness/Understanding LSTM Networks
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
7. 本文参考资料
Machine Learning (2016,Fall), Hung-yi Lee, NTU
http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdfDeep Learning, Ian Goodfellow and Yoshua Bengio and Aaron Courville
http://www.deeplearningbook.org/Deep Learning in a Nutshell: Sequence Learning
https://devblogs.nvidia.com/parallelforall/deep-learning-nutshell-sequence-learning/Long short-term memory
https://en.wikipedia.org/wiki/Long_short-term_memory
Deep & Structured 未完待 |
【本文地址】
今日新闻 |
推荐新闻 |